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Introduction 

Soient V un espace vectoriel de dimension finie sur un corps K de caractéristique zéro et G 
un sous-groupe du groupe linéaire GLÇV) de V. Le groupe G admet divers types d'invariants : 
orbites, fonctions polynômes, fonctions difFérentiables et distributions (ceci lorsque K = R). En 
sens inverse, ayant privilégié un ensemble d'invariants particuliers, on peut se demander quel est 
le plus grand sous-groupe G de GL{V) qui laisse invariant ces invariants particuliers. Lorsque 
G = G, ou au moins lorsque G et G ont la même composante neutre (cas K = M . . .), on pourra 
dire que les invariants considérés sont des invariants caractéristiques de G. 

Un autre aspect de ce problème est le suivant : Supposons que K soit le corps des nombres 
réels et que G soit un sous-groupe fermé (connexe) de GL{V). A chaque élément X de l'algèbre 
de Lie g de G il est associé un champ de vecteurs Lx sur V : Lx{v) — Xv pour tout v dans V, 
qui annule toutes les fonctions difFérentiables G-invariantes sur V, lorsqu'on le considère comme 
un opérateur différentiel linéaire d'ordre 1 : {Lxf){v) =< df{v),X.v >. Sous l'hypothèse de la 
connexité de G, il vient : une fonction difFérentiable / sur V est G-invariante si et seulement si : 
Lxf = pour tout X dans g. Les invariants de G sont donc ceux de l'algèbre de Lie de champs de 
vecteurs constituée par les Lx, X décrivant g, laquelle algèbre de Lie est isomorphe à g (on ne la 
distinguera pas de g éventuellement). On peut alors se demander, par exemple, quelle est la plus 
grande algèbre de Lie de champs de vecteurs linéaires (i.e. polynomiaux, homogènes de degré 1) 
sur V qui annule tous les polynômes G- invariants, et la comparer à g ; lorsque cette algèbre de 
Lie coïncide avec g, on dira comme plus haut que les polynômes invariants sont caractéristiques 
pour g. 

Un peu plus généralement, notons t) l'ensemble des champs de vecteurs sur V, qui sont 
combinaisons linéaires des Lx {X décrivant g), à coefficients polynômes (ou fonctions G°° 
éventuellement) sur V ; il est clair que [} est une sous-algèbre de Lie de l'algèbre de Lie xi^) de 
tous les champs de vecteurs polynomiaux sur V, et que ses invariants polynomiaux sont ceux 
de g. Comme ci-dessus, on peut chercher la sous-algèbre de Lie de x(^) Qui annule tous les 
polynômes invariants, et la comparer à t). 

On traite de ces questions dans la suite sous les rubriques : 

1 Les polynômes caractéristiques 

Divers exemples. Groupes adjoints des algèbres de Lie semi-simples. Algèbres de Takiff. Es- 
paces riemanniens symétriques. Algèbres de Jordan. 

2 Les orbites caractéristiques 

Orbites caractéristiques dans les espaces symétriques. Orbites adjointes caractéristiques dans 
les algèbres de Lie semi-simples. 

3 Distributions caractéristiques 

Algèbres de Lie nilpotentes. Groupes unipotents. 
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Quelques commentaires : 

Sur la partie 1, il est difficile de faire preuve d'une totale originalité, tant il y a de travaux sur 
ce type de questions, principalement il est vrai dans le cas des groupes réductifs. Le paragraphe 
consacré aux algèbres de Takiff semble original. 

Pour l'essentiel et à ma connaissance, les parties 2 et 3 sont originales. 



1 Sur les polynômes caractéristiques 
1.1. Divers exemples. 

Soit G un sous-groupe de GL(y). On note ]K[y] l'algèbre des fonctions polynomiales sur V, 
et ]K[\^]'^ celle des fonctions polynomiales G-invariantes. Soit G' le plus grand sous-groupe de 
GL[y) qui laisse invariants tous les polynômes G-invariants. On a évidemment G C G' . 

1.1.1. Supposons G Bni. Alors G' a les mêmes orbites que G, car ]K[y]^ sépare les G-orbites; 

donc G' est un groupe fini (un sous-groupe de GL{V), dont les orbites sont finies, est un ensemble 
fini). Par ailleurs, il existe un point v deV (et même une infinité de tels points v) dont la G-orbite 
(resp. la G'-orbite) a même cardinal que G (resp. G'). Donc G = G'. 

1.1.2. Ici K = R et G est un sous-groupe compact de GL{V). Pour les mêmes raisons que ci- 
dessus, les G'-orbites sont les G-orbites. Par ailleurs. G' est un sous-groupe fermé de GL{V), qui 
laisse invariante une forme quadratique définie positive ; donc G' est conjugué d'un sous-groupe 
fermé du groupe orthogonal de ladite forme quadratique. Ainsi : G' est compact. 

1. Ici K = M, y = M" et G = SO{n,R). Alors G' = 0{n,M.). 

2. Ici K = R, V = considéré comme espace vectoriel réel de dimension 2n, et G = U{n) 
est le groupe unitaire. Alors G' = 0(2n). 

1.1.3. Soit H le groupe de Heisenberg de dimension 3 ; son algèbre de Lie t) est engendrée, comme 
espace vectoriel par une base (P, Q, Z) avec [P, Q] = Z ; on note x,y,z les coordonnées sur le 
dual t)* de [), relatives respectivement à P*,Q*,Z*, sachant que {P*,Q*,Z*) est la base dualc 
de {P, Q, Z). Ici le groupe G qui nous intéresse est l'image Ad* (H) de H par sa représentation 
coadjointe, c'est l'ensemble des matrices de la forme : 



Les orbites de G sont : les plans d'équation : z = zq, avec Zq ^ 0, et les points du plan 
d'équation ^ = 0. Les polynômes G-invariants sont les polynômes en z : 




(a, h) G 



Il est clair que G' 



est le groupe des matrices : 
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Ici les polynômes G-invariants ne caractérisent pas le groupe G. On notera toutefois que G est 
caractérisé par ses orbites. 

1.1.4. Soit G un groupe de Lie semi-simple complexe connexe, et soit Q son algèbre de Lie. Le 
groupe G opère dans g par la représentation adjointe, de même que les sous-groupes de G, en 
particulier un sous-groupe de Borel B et un radical unipotent N. 

1. II est bien connu qu'on a : C[0]^ = C[g]'-^ (les invariants polynômes pour B sont des 
invariants pour G) (on a un résultat analogue pour les représentations holomorphes, de 
dimension finie, de G, au lieu et place de la représentation adjointe). On a donc : G C 
B' = G", et comme G est la composante neutre de G' (voir 1.2.1 plus loin), il vient que G 

est la composante neutre de B' . 

2. Suite à une vérification, j'avais conjecturé que le groupe unipotent N pouvait être ca- 
ractérisé par ses invariants polynômes dans C[q] (dans le cas G = SL{2), la vérification est 
visible dans la remarque de 3.2.2.). Cette conjecture a été démontrée par A. Bouaziz et R. 
Yu sous la forme suivante : G Ci N' C N ; autrement dit : la composante neutre de N' est 
N. 



1.2. Groupes adjoints des algèbres de Lie semi-simples 

1.2.1. Soit Q une algèbre de Lie semi-simple complexe de dimension finie. Le groupe G auquel on 
s'intéresse ici est le groupe lnt(0), i.e. le sous-groupe connexe de GL{q), d'algèbre de Lie ad{g). 
Pour chaque X dans g, on note Lx le champ de vecteurs "adjoint", défini par : Lx{Y) = [X, Y] 
pour tout Y dans g, et on désigne par () l'algèbre de Lie des champs de vecteurs sur g. qui sont 
combinaisons linéaires des Lx, à coefficients fonctions polynômes sur g. On a alors le théorème 
de Dixmier ([Di-1], théorème 2.1). 

Théorème : i) est l 'algèbre de Lie des champs de vecteurs sur g, qui annule tous les polynômes 
Int{Q) -invariants sur g, 

avec son : 

Corollaire : ([Di-1], remarque 2.2) : L'algèbre de Lie du groupe G' est celle ad(g) des dérivations 
intérieures de g. 

Autrement dit : G est la composante neutre de G', et conformément à l'introduction, G est 
caractérisé par ses polynômes invariants. 

1.2.2. Soient G = GL(n,C) et g = g?(n,C). Dans [Ra] (chapitre V), il est prouvé que le sous- 
groupe de GL{g) qui laisse invariants les coefficients du polynôme caractéristique est engendre 
par Ad{G) (l'image de G dans GL(g) par la représentation adjointe) et par la transposition des 
matrices. Le même résultat vaut pour sl{n, C) (corollaire immédiat du résultat précédent). Donc, 
pour sl{n,C) = g, le groupe Int(g) est un sous-groupe d'indice 2 du groupe (Int(g))'. 

Question : Peut-on déterminer de façon précise le groupe Int(g)', lorsque g est une algèbre de 
Lie simple, comme dans le cas g = sl{n, C) ? 
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1.3. Algèbres de Takiff associées à une algèbre semi-simple 

1.3.1. On examine ici le cas des algèbres de Lie Qm étudiées dans [R-T]. Soit = 0o une algèbre de 
Lie semi-simple complexe. On définit Qm comme étant le quotient de l'algèbre de Lie 0(8>C[T] par 
l'idéal J = J2k>m3 ® ^'^^ L'algèbre des polynômes Int(flTO)-invariants sur g^n a été déterminée 
dans [R-T] (théorème 4.5). 

1.3.2. On aura besoin d'utiliser le théorème de Dixmier ([Di-1], théorème 2.1), énoncé pour les 
champs de vecteurs à paramètres sur g = Qo, sous la forme suivante : 

Soit W un espace vectoriel complexe, de dimension finie, et soit {ei)i une base do g. On note 
di la dérivation le long du vecteur e^. Soit L = fidi, on les ipi sont des fonctions polynômes 
sur W xg. Si un tel champ L annule toutes les fonctions polynômes Int(g)-invariantes sur q, alors 
L est une combinaison linéaire des champs adjoints (x € g), à coefficients dans C[W x g]. 

1.3.3. Proposition : Soit L : W x gm — > gm un champ de vecteurs qui annule les polynômes 
Int{gm) -invariants. Alors L est une combinaison linéaire à coefficients dans C[W x g^] des 
champs adjoints sur gm- 

DÉMONSTRATION : Par récurrence sur m. Le cas m = est le théorème de Dixmier. 

a) A titre de préparation, on traite le cas m = 1. Chaque polynôme invariant p : g — > 
C donne 2 polynômes invariants sur gi : Pi{xo + xiT) = Pi{xo,xi) = p{xo), ^2(2^0,2:1) = 
< dp{xQ),Xi >. 

Soit L = ao + oiT un champ de vecteurs à paramètres sur gi, qui annule tous les polynômes 
Int(fli)-invariants sur gi. Il annule tous les polynômes de type Pi : 

= <dPuL>= (^)jj Piix + tLix)) = {^)^pixa+tao{w,x)) 

D'après le théorème de Dixmier, il existe une fonction polynomiale bo : W x g^ — > telle que : 

ao{w,x) = [bo{w,x),xo] 

pour tous (Wjx) dans W x gi (sachant que xq est tel que x = (a;o,a;i)). 
Ensuite, L annule tous les polynômes de type P2 : 

= <dP2,L>^{^)^P2{x + tL{x)) 

= (^)(, < dp{xo + tao{w,x)), xi+tai{w,x) > 

= (^)o < dp{xo + t[bo{w,x),xo],xi > + < dp{xo), ai{w,x) > 

Mais l'invariance de p implique : 

(*) (^)o < dp{xo+t[bo{w,x),xo]) = [bo{w,x),dp{xo)] 

(Noter que dp{xo) est identifié ici au gradient Wp{xo) grâce à la forme de Killing de g). Soit en 
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effet un élément e de g, et soit ip{w, x) une fonction polynomiale scalaire sur W xqi. On a alors : 

d d 
{-^)o'^p{xo+t(p{w,x)[e,xo]) = (p{w,x){—)^Vp{xo+t[e,xo]) 

= if{w,x){^)^^ Vp{exp{tade)xo) 

= (p{w,x)[e,'Vp{xo)] = [ip{w,x)e, Vp{xo)] 

Ceci démontre l'égalité (*). On a donc : 

= < dP2, L > = < [bo{w, x), dp{xo)],xi > + < dp{xo), ai(w, x) > 

= < dp{xo), [xi,bo{'w,x)] + ai{'w,x) > 

et ceci pour tout polynôme p invariant sur g. Toujours d'après le théorème de Dixmier, il existe 
une fonction polynomiale bi :W x gi — > g telle que : 

ai{w,x) = [bi{w,x),xo] + [bo{w,x),xi]. 

Donc : 

L{w,x) = [ho{w,x],xo] + {[bi{w,x),xo] + [bo{w,x),Xi])T 
= [bo{w,x) + bi{w,x)T,xo + XiT] 

le crochet précédent étant celui de gi. C'est ce qu'il fallait démontrer dans le cas m = 1. 

b) On traite le cas général de gm, avec m > 1, en supposant que la proposition est vraie pour 
gm-i- On se rapportera à [R-T] pour les détails qui sembleraient manquer ci-dessous. 

Chaque polynôme p sur g, lnt(0)-invariant, fournit (m + 1) polynômes Pq, - ■ ■ ,Pm sur g^n, 
lnt(0r„)-invariants : 

Pj{xo,...,Xm) = ^{■^yp{xo + tXi-\ \-t'^Xm) \t=0 

Or : Pq, Pi, . . . , Pm-i ne dépendent pas de la variable Xm, et les polynômes : 

Qj{xo,...,Xm-l) = 4(4)'' p{X0 + tXi H \-t™~'^Xm-l) \t=0 

j\ dt 

sont lnt(0rn-i)-invariants. 

Soit L = X^^o ^kT'' un champ de vecteurs à paramètres sur g qui annule les polynômes 
Int(fl„i)-invariants sur g^n- Lorsque < j < m — 1 : 

= <dPj,L> = < dQj, ao + aiT+--- + a„_iT™-^ > 

Par l'hypothèse de récurrence, il existe des fonctions polynomiales bj : W x gm — > (0 < j < 
m — 1) telles que : 

ao + aiT + • • • + a^-iT™-! = [bo + biT + ■ ■ ■ + bm-iT"'-\ xo + xiT+---+ Xm-iT"'~'^] 
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le crochet étant calculé dans Qm-i- Notons [ , ]to et [ , ]m-i les crochets respectifs dans Qm et 
Qm-i, on a : 

[bo + hT+--- + hm-lT"'-\ X0 + --- + Xm-lT""-^ + XmT^'U 

= lbo + --- + hm-iT"'-\ X0 + ---+ x^-iT™- V-1 

+ ([6o, Xm] + [hl, Xm-A + ■■■ + XiDT™ 

Soit maintenant P : Qm — ^ C une fonction polynôme lnt(0m)-invariante. On a alors : 
<dP,L> = <dP,[ho + --- + 6„_iT™-i, a;o + • • • + aj^-iT™" V-i > 

+ < dP, a^T"' > = < dP, [60 + • • • + 6™_ir™-i, X0 + ---+ x™r™]„ > 

- < dP,{[bo,Xm] + [h,Xm-l] + --- + [bm-l,Xl])T"' > 

+ <dP,amT'^>, 

le premier terme de la dernière somme étant nul par l'invariance de P. Prenons alors P = Pm- 
Il vient, avec : 

Pm{x) =< dp{xo),Xm > modC[a;o, • • ■,Xm-i] 

< dPjn, L > = < dPm, (dm — X^0<j<m-1 t^i ' > 

< dp{xo), ttm - J2j [bj, Xm-j] >= 

pour tout p, Int(fl)-invariant sur g. Il existe donc une fonction polynôme bm '■ W x g^n — ^ £1 telle 
que : 

am{w,x) = ^ [bj{w,x),Xm-j] + [bm{w,x),Xo] 

0<j<m-l 

[bj{w,x),Xm-j] 

0<j<m 

Par conséquent : 

ao + aiT + • • • + amT"" = [bo + biT + ■ ■ ■ + è^T™, xq + --- + XmT"']m 

1.3.4. Corollaire : 1) Soit L un champ de vecteurs linéaire sur Qm, qui annule les fonctions 
polynômes Int{Qm) -invariants sur Qm- Alors L : g^n — >■ Qm s-st une dérivation intérieure de Qm- 

2) Int{Qm) est la composante neutre de Int{Qm)- 

1.3.5. Remarque : Le résultat ci-dessus ne vaut pas seulement pour les algcbrcs de TakifF Qm 
construites sur une algèbre de Lie semi-simple Qq ■ Un examen attentif de la démonstration 
donnée ci-dessus montre qu'il suffit que Qo soit une algèbre de Lie quadratique ayant la propriété 
de Dixmier, énoncée dans 1.3.2. 
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1.4. Espaces riemanniens symétriques 

1.4.1. Soit G/K un espace riemannien symétrique non compact de rang 1. Le groupe K est 
compact et opère naturellement dans l'espace tangent au point "neutre" de G/K, noté p comme 
d'habitude. L'algèbre R[p]^ des fonctions polynômes ii'-invariantcs est M.[Q] où Q est une forme 
quadratique définie positive sur p. Donc K' est le groupe orthogonal de la forme Q. Ci-dessous, 
on utilise les notations de [He] et la classification des espaces riemanniens symétriques qui s'y 
trouve. 

1. SOoin, 1)/S0{n) est l'espace hyperbohquc rccl de dimension n. Ici K' = 0{n) et K' et K 
ont la même composante connexe SO(n) (c'est l'exemple 1.1.2. 1. ci-dessus). 

2. SU{n, l)/S{U{n) x U{1)) est l'espace hyperbolique hermitien. Ici K' = 0{2n) (c'est pour 
l'essentiel l'exemple 1.1.2. 2. ci-dessus). 

3. Sp{n, 1)/Sp{n) x Sp{l) est l'espace hyperbolique quaternionnien (de dimension An). Donc 

K' = 0(4n). 

4. F4/SO{9) est l'espace exceptionnel de rang 1, sa dimension est 16. Donc K' = 0(16). 

Conclusion : IR[p]^ caractérise K (au sens : K' et K ont la même dimension) dans le seul cas 
de l'espace hyperbolique réel. 

1.4.2. D'autres exemples d'espaces riemanniens symétriques apparaissent dans [Ra] (chapitre 
V), par exemple SL{n,R)/SO{n), où K' est déterminé explicitement, et où il apparaît que K 
est caractérisé par ses polynômes invariants. On verra plus loin, comme application de la notion 
d'orbite caractéristique, que le groupe K' est entièrement déterminé dans les cas : 

SOo{n,n)/SO{n) x SO{n), SU{n,n)/S{U{n) x U{n)) 

avec le même résultat : K est la composante neutre de K'. 

1.4.3. Comme dans le cas des algcbrcs de Lie semi-simples, il y a un résultat général concernant 
les algèbres de Lie symétriques complexes, dii à Levasseur et Ushirobira ([L-U]) : lorsque G/K 
est un espace symétrique de rang > 2, le groupe K est caractérisé par ses polynômes invariants 
{K est la composante neutre de K'). 



1.5. Algèbres de Jordan 

La liste des algèbres de Jordan simples, de dimension finie sur C est la suivante : 

(I) J = M„(C), avec la multiphcation de Jordan : 

{a;, y} = ^ {xy + yx) 

(II) J = MSniC) est la sous- algèbre de Jordan de M„(C) constituée par les matrices symétri- 
ques. 
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(III) J est la sous-algèbre de Jordan de M2„(C) constituée par les matrices x telles que x = 
E*xE~^, avec : 



(IV) J est l'algèbre construite sur l'espace vectoriel C"(8)C.l oii 1 est l'élément neutre, et lorsque 
x = {xi,..., Xn), y = {yi, ■■■,yn) sont dans C" : 



(V) J est l'algèbre exceptionnelle constituée par les matrices hermitiennes à 3 lignes et 3 colonnes, 
à coefficients dans l'algèbre de Cayley. 

1. Dans le cas (I), il est connu que le groupe Aut(J) des automorphismes de J est engendré par 

le groupe des automorphismes (intérieurs) de l'algèbre associative M„(C) et la transposition 
des matrices. Dans les cas (II) et (III), il est aussi connu que tout automorphisme de Jordan 
de J s'étend en un automorphisme de Jordan de Mp(C) {p = n dans le cas (II), p = 2n 
dans le cas (III)). Par conséquent, l'algèbre C[J]^^^^*^''^ des fonctions polynômes Aut(J)- 
invariantes sur J, est celle engendrée par les coefficients du polynôme caractéristique. En 
sens inverse, il est prouvé dans [Ra] (chapitre V, §3) que dans tous les cas (I), (II), (III), le 
groupe Aut( J) est caractérisé par ses polynômes invariants. On notera que les 2 polynômes 
tr{x^) et tr{x^) suffisent à caractériser Aut(J). 

2. Dans le cas (IV), le groupe Aut( J) s'identifie au groupe orthogonal 0(n, C) agissant sur les 
n premières variables xi, . . . , a;„ de C" et trivialement sur Cl, et l'algèbre des polynômes 
invariants est engendrée par la dernière coordonnée \{x + a.l) = a et par la forme qua- 
dratique Q{xi, . . . , Xn, oi) = Xi + ■ ■ ■ + Xjj. On vérifie alors que Aut(J) est le groupe des 
automorphismes de l'espace vectoriel complexe J qui laisse invariant A et Q. 

3. Dans le cas (V), il est prouvé par Chevalley et Schafer ([Ch-Sch]) que l'algèbre de Lie 
des dérivations de J (de type ^4) est caractérisée par les 2 polynômes Aut(J)-invariants 
tr{xox) et tr{xoxox) {oh o est la multiplication de Jordan). On a donc la : 

Proposition : Soit J une algèbre de Jordan simple, de dimension finie sur C. Le groupe Aut{J) 
est caractérisé par ses polynômes invariants. 

Remarque : Cette situation des algèbres de Jordan n'est pas sans relation avec celle des espaces 
symétriques : à un espace hermitien symétrique correspond un STJ (système triple de Jordan) 
hermiticn positif, et vice-versa, et dans le cas des espaces hermitiens de type tube, ce STJ "est" 
une algèbre de Jordan. 

On est donc amené à poser la : 

Question : Le groupe des automorphismes d'un STJ est-il caractérisé par ses invariants poly- 
nômes ? 




xy = < x,y > 1, <x,y>= xiyi H h a;„y, 
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2 Sur les orbites caractéristiques 



Soit G un sous-groupe de GLiV). Lorsque fi est un sous-ensemble de V, on notera St{n) (le 
"stabilisateur" de Q) le sous-groupe de GL{V) constitué par les / dans GL{V) tels que f{Q) = O. 
En particulier, lorsque Q est une G-orbite, on a évidemment : G C St{^l), et on dira que O est 
une orbite caractéristique de G si G = St{fl) ou au moins si G et St{fl) ont même composante 
neutre. On notera que dans le cas "réel", si G = K est un sous-groupe compact de GL{V), on 
a. : K C K' C St{^î) pour toute if-orbite fi. La détermination de St{il) est donc utile pour 
connaître K', et en particulier : s'il existe une orbite caractéristique, alors K est caractérisé par 
ses polynômes invariants. 



2.1. Orbites caractéristiques dans les espaces symétriques 

2.1.1. On considère l'espace riemannien symétrique SOo{n,n)/SO{n) x SO{n). L'espace p 
s'identifie à l'espace M„(IR) des matrices n x n, à coefficients réels, et un couple {x,y) dans 
SO{n) X SO{n) opère dans A'/„(M) de la manière suivante : {x,y).X — xXy~^ pour tout X dans 
M„(M). Notons fi (= SO{n)) la if-orbite de la matrice unité /„. La détermination de St{p) a 
été faite dans [Dj]. Il apparaît que si f{SO{n)) = SO{n), alors / est de l'une des deux formes 
suivantes : 

ou bien f{X) = uXv avec u et v dans SO{n) 
ou bien f{X) = u *Xv avec u et v dans SO{n) 

{où. *X est la transposée de la matrice X). 

Dans cet exemple, on voit que St{Sl), avec SI = SO{n), admet K comme sous-groupe normal 
connexe d'indice 2. 

2.1.2. Considérons l'espace symétrique SU{n,n)/ S{U{n) x U{n)); l'espace p étant identifié à 
M„(C), notons Cl = U{n) l'orbite sous K de la matrice unité 7„. Dans [M], il est prouvé que les 
/ : p — > p, C-linéaires et bijectives telles que f{U{n)) = U{n) sont celles ayant l'une des deux 
formes suivantes : 

f{x) = UXV* avec u et v unitaires 

ou f{x) = u^'xv* avec u et v unitaires. 

Rappelons que si u et w sont 2 matrices unitaires, il existe 2 autres matrices unitaires uq 
et vq telles que det{uoVo) = 1 et uxv* = uqxvq pour tout x ; par suite, les bijections linéaires 
complexes / ayant la première forme ci-dessus, sont exactement celles provenant de l'action 
naturelle de K dans p. Si on note Stc{S^) le sous-groupe de St{fl) constitué par les bijections 
C-linéaires, ce qui précède montre que K (en fait l'image de K dans GL{p)) est la composante 
neutre de Stc{Sl). Mais qu'en est-il du groupe St{il) ? Un complément au théorème de Marcus 
cité ci-dessus a été apporté par Djokovic dans [Dj] : le groupe St{Ç}) est engendré par Stc{S}) et 
par la transformation antilinéaire f{x) = x. Donc K est aussi la composante neutre de St{n) et 
Cl = U{n) est une orbite caractéristique de K. 

2.1.3. Soit G/K un espace symétrique hermitien (irréductible). L'espace vectoriel réel p admet 
une structure complexe if-invariante, de sorte que l'action de K dans p se fait par des applications 
linéaires complexes. L'espace homogène G/K se réalise (par le plongement de Harish-Chandra) 
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comme la boule unité X> dans p+, relativement à une norme bien précise (voir par exemple [Sa], 
chapitre II, §4). Dans la frontière de T? se trouve une if-orbitc particulière qui est la frontière 
de Shilov du domaine borné symétrique V. Notons ^l cette orbite particulière. Dans l'exemple 
précédent, V est l'ensemble des matrices x dans M„(C) telles que {In—xx*) soit définie positive, la 
norme est la norme spectrale, et fi est l'ensemble U{n) des matrices unitaires. Dans le cas général, 
il se trouve que la frontière de Shilov Q deT> est l'ensemble des points extrémaux de V. Dès lors, 
soit / un automorphisme R-linéaire de p+ telle que : /(O) = O ; on a alors /(X>) C V, d'où : 
< \\x\\ pour tout X dans p+ (oii || [| est la norme définissant la boule unité V). Comme 
la bijection réciproque g = de / a la même propriété : g{^) = il, on a : 115(2;) || < ||a;||, d'oîi 
< ||/(a;)|| et ainsi ||/(a;)|| = ||a;|| pour tout x dans p+. Donc /(©) = V = g{T>). Supposons 
dorénavant que f soit C-linéairc, de sorte que / est un automorphisme biholomorphe de P. La 
comparaison du groupe Hol(î?) des automorphismes biholomorphes de V avec le groupe I{T>) 
des isométries (relativement à la métrique de Bergman) de V est établie dans [Sa], page 88 : 
Hol(I?) est un sous-groupe d'indice 2 de I^D), et si on note /(2?)° la composante neutre de I^D), 
on a : 

I{Vf C Hol(X>) C I{V) 

et I{T>)^ est un sous-groupe d'indice au plus 2 de Hol(î?). Lorsque / € liV)^ , ce qui est le cas 
lorsque Hol(I>) = I{TTf , on a immédiatement : / G G et /(O) = 0, d'où : f £ K. Dans tous 
les cas, Stc{^)^ c K et comme K C S'Tc(r2)°, il apparaît que K est la composante neutre de 

stc{n). 

Ceci ne répond pas à la question de savoir si fl est une orbite caractéristique de K, comme 
c'est le cas dans 2.1.2. On est donc amené à faire lorsque le rang est > 2, la 

Conjecture : K est la composante neutre de St{il,). 

2.1.4. Compte-tenu de l'exemple traité dans 2.1.1., on peut poser la : 

Question : Lorsque G/K est un espace ricmannicn symétrique de rang > 2, le groupe K 
admet-il une orbite caractéristique dans p ? Si oui, quelles sont les orbites caractéristiques? 



2.2. Orbites adjointes caractéristiques dans les algèbres de Lie semi- 
simples 

2.2.1. Soient g = Ql{n, C), fl l'orbite adjointe d'un élément générique fixé de g et A/" le cône des 
éléments nilpotents de g. Dans [Wa], il est prouvé que St{il) est engendré par lnt(0) et par la 
transposition des matrices. Dans [B-P-Wa], il est prouvé que St{Af) est engendré par Int(g), la 
transposition des matrices et l'ensemble des homothéties x Xx avec A dans C*. 

Une sorte de récapitulatif récent sur ces résultats se trouve dans [Pl-Dj] . 

2.2.2. Soit une algèbre de Lie semi-simple complexe, de dimension finie, de rang r. On note 
(pi,...,Pr) un système de générateurs homogènes, algébriquement indépendants de l'algèbre 

application définie par : 7r(a;) = {pi{x), . . .pr{x)) pour tout x. 

Soit maintenant / dans GL{q) tel que po f = p pour tout polynôme lnt(0)-invariant sur 
(autrement dit : / G lnt(0)'). On a immédiatement : 

*fodpof = dp pour tout p dans C\pi, . . . ,Pr] 
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Notons d{x) le rang de tt au point x (pour x dans g). Il vient alors : d{f{x)) = d{x) pour tout 
X, et /(flr) = Qr, OÙ g,- est l'ensemble des cléments réguliers de g. De même un tel / transforme 
un élément générique en un élément générique, car / laisse invariant le polynôme discriminant 
de Q. D'après les théorèmes de Kostant, il vient : Int(g)' C St{Q,) pour toute orbite régulière Cl 
et de même pour toute orbite générique. 

2.2.3. Soit Ao l'orbite régulière nilpotente. Comme A/q est dense dans A/", on a : St{Afo) C St{M). 

Lemme : Soit f dans GL{g). Sont équivalentes : 

(1) /(M))=AAo 

(2) f{N) =M et d{f{x)) = d{x) pour tout x dans Af. 

DÉMONSTRATION : (i) Soit / tel que /(Ao) = A/q ; on a donc : /(A/") = Af. Soit p un polynôme 
lnt(0)-invariant, sans terme constant ; alors pof est nul sur Af et il existe des fonctions polynômes 
(fil,. . . ,iPr telles que pof = J2 fj Pj j d'où : 

^fodpof = ^ (fj dpj + ^ Pj d(pj 

et, pour tout x dans M : 

*f{dp{f{x)) = f3{x)dpj{x) 

soit : 

dpifix)) = ^ ip,{x)f{dp,{x)) avec / = Cf)''- 

Notons E(x) le sous-espace vectoriel de g* engendré par les formes linéaires dpi{x), . . . ,dpr{x). 
Ce qui précède montre que : E{f{x)) C f{E{x)) et d{f{x)) < d{x). Mais on a aussi, avec g — 
/-i : E{g{y)) C giE{y)), ce qui s'écrit, avec y = f{x) : E{x) C g{E{f{x))), d'où d{x) < d{f{x)) 
et ainsi : 

/ induit un isomorphisme d'espaces vectoriels 
de E{x) sur E{f{x)), d{f{x)) = d{x), pour tout x dans A/". 

(il) Sous l'hypothèse (2), on a : /(Ao) C Ao (d'où /(Ao) = Ao) car Ao est l'ensemble des x 
dans A" tels que : d{x) = r. 

Conjectures : (1) Soit Cl une orbite générique. Alors : 

St{Clf = lui{g) 

(2) Soient A" le cône des éléments nilpotents de g et Ao l'orbite nilpotente régulière. Alors : 

St{Mf = St{Afo)° = Int(fl) X C*. 
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3 Sur les distributions invariantes caractéristiques 
3.1. Algèbres de Lie nilpotentes 

Soit Q une algèbre de Lie nilpotentc, de dimension finie sur R, et soit G un groupe de Lie 
connexe d'algèbre de Lie g. Le groupe G opère dans g (resp. g*) au moyen de la représentation 
adjointe (resp. coadjointe), et on notera Ad{G), (resp. Ad*{G)) l'image de G dans GL{q) (resp. 
GL{q*)) résultant de la représentation adjointe (resp. coadjointe). On examine ici les questions 
posées ci-dessus pour la représentation coadjointe de G dans q* . 

3.1.1. On a vu dans l'exemple 1.1.3. que le groupe de Heisenberg n'est pas caractérisé par ses 
polynômes invariants. On rappelle qu'ici Q* s'identifie à M^, avec les coordonnées {x, y, z), et que 
les champs de vecteurs coadjoints sont les combinaisons linéaires de 

A = z—, B = z — 
ox oy 

Les distributions T, invariantes sous l'action coadjointe de G sur q*, s'écrivent : 

T = la;,y (^U{z) + V{x, y) (g) 5{z) 

oiiUetV sont des distributions arbitraires. Parmi ces distributions invariantes, on privilégie les 
distributions de type : 

Ti = l^^y (^ô{z~ zo) {zo ^ 0) 

T2 = ô{x - xo) ® ô{y ~ yo) ô{z) (xo^yo) G 

qui sont des mesures invariantes portées par les orbites coadjointes de G dans g*. 

Soit L = a-g^+h-^ + c-^ un champ de vecteurs sur g*, à coefficients dans C°°(M^), qui 
annule les mesures invariantes portées par les G-orbites. 

= L{l^^y®5{z- ZQ)) = \^^y®c{x,y,z)ô'{zQ) 

d 

= ^x,y ® [c{x, y, zo)ô'{zo) - -Q-^c.{x, y, ^0)^(2:0)] 
On a donc, pour tout couple {ij), 6) de fonctions C°° (à support compact) V = i^{x, y),6 = 6{z) : 

0= / 'il){x,y)[-c{x,y,ZQ)e'{zQ) - —{x,y,ZQ)e{zQ)\dxdy 
En choisissant 6 telle que : 6{zo) = et 6'{zo) = 1, il vient : 

y ip{x,y)c{x,y, zo)dxdy = pour toute -0 dans P(IR.^). 
Donc : c{x, y, zq) = pour tout {x, y, zq) dans x M*, et ainsi c = 0. 

- = L{ô{x - xo) ® â{y - yo) (8) S{z)) = {Lq 6{x - xq) (g) 6{y - yo)) ® S{z) 
avec Lo = a{x,y,0)-§^ + b{x,y,0)-§^. 
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Donc Lo{ô{x — xo) (g) ô{y — yo)) = pour tout {xo,yo) dans M?, et l'opérateur différentiel *Lo 
annule toutes les fonctions ip C°° sur : 

< *Lo(V'), S{x - Xo) ô{y -yo)> = 0. 

Donc *Lo = - (Il (a;, 2/, 0) + § (x, y, 0)) - - 6^ = et par suite : a{x, y, 0) = b{x, y, 0) = 
pour tous X et y, et il existe 2 fonctions a et /3, de classe C°°, telles que : 

a{x, y, z) = za{x, y, z), b{x, y, z) = zP{x, y, z). 

Donc L = aA + (3B. 

3.1.2. La question de savoir si on a le même résultat pour une algèbre de Lie nilpotente quel- 
conque a été traitée par J. Dixmier ([Di-2], §4), qui montre que la réponse est négative, en 
exhibant le contre-exemple suivant ; 

- Soit g l'algèbre de Lie (nilpotente), de dimension 6 sur M, admettant la base (ei, . . . , ee) 
avec : 

[ei, 62] = 65, [ei, 63] = 66, [62, 64] = 66- 

On note {yi,...,ye) les fonctions coordonnées sur g*, correspondant à la base duale de 
(61, . . . , 66). Les champs coadjoints définis respectivement par 61, . . . , 66 sont : 

. d d . d d . d 

oyi dy3 dyi dy^ dyi 

d 

ày2 

Dixmier montre que le champ 2/5 annule toutes les mesures invariantes portées par les or- 
bites coadjointes, mais n'est pas combinaison linéaire, à coefficients fonctions C°° des champs 
Ai,...,Ae. 

- Parmi les distributions invariantes T sur g*, il y a les distributions de l'un des trois types 
suivants : 

Ti = I{yi,y2,y3,y4)^u{y5,y6) 
dV 

T2 = yi (8» i,/2 <S) -^(2/3,2/4,^5) o «5(^6) 

0*2/4 

dV 

-lyi (8>y2 (81 -^(y3, 2/4, 2/5) «"^(2/6) 
o'y3 

-hi,V2 ® y5V"(y3, y4, y5) » ô'{ye) 

= lî/i,î/2 <8 W^(y3,y4,y5) 0%6) 

oii U,V et W sont des distributions arbitraires. 

(En fait, toute distribution invariante est une somme Ti + T2 + T3.) 
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- Soit L = J2Vj ^ un champ de vecteurs qui annule toutes les distributions invariantes, les 
(fij étant des fonctions C°° (ou des fonctions polynômes). 

. Il annule toutes les distributions de type Ti, ce qui s'écrit : {(^585 + (pede)U = pour 
toute distribution U (on écrira dj à la place de ^-)- D'oii f5=f6= 0. 

. Il annule toutes les distributions de type T3, ce qui s'écrit : 

® diW ® ô{ye) = 

d'où, pour toute distribution W : 

Vsivi, • • • , 2/5, 0)lyiî/2 (g) daW + ip^ivi, • • • , 2/5, 0)ly,y^ O d^W = 

et (fisivi, . . . ,y5,0) = <y54(î/i, . . .,^5,0) = 0. 

Il existe donc des fonctions (C°° ou polynômes suivant le cas) tp^, tp4 telles que : (p3 = 2/6 "03, = 
2/6 V'4, et : 

L = (fidi + ip2d-2 + ^32/6^3 + ^'42/6^4 

= (/9i9i + ip2d2 + ^3^1 + ^^"4^2 - i^^y^di + tlJAVsdl 

= (</?i + tlJ4y5)di + {(p2 - i>3y5)d2 + i>3^i + i^iM 

. L annule toutes les distributions de type T2, ce qui revient à : {6idi + ^2^2)72 = avec 

Oi=ipi+ V'42/5 et 62 = 1^2- i/'32/5- Donc : 

6»i ly^y^ ®diV® ô{ye) - 6*2 ly^y^ (g) Ô3 (g) ôiye) = 
pour toute distribution V, soit encore : 

^1(2/1, . . . , ys, 0)^4 y - ^2(2/1, . . . , 2/5, 0)53 y = 0. 
Il existe donc tpi , tjj2 telles que : 9i = î/eV'i , ^2 = 2/6'02 et : 

L = i^iy&di + ^'22/6^2 + V'3^1 + ^^4^2 

= IpzAi + V'4^2 - ■01^3 - ■02^4 

L'examen d'autres algèbres de Lie nilpotentes amène à faire la : 

Conjecture : Soit g une algèbre de Lie nilpotente et soit L un champ de vecteurs (à coefficients 
C°°) sur 0*, qui annule toutes les distributions invariantes sur g*. Alors il existe une fonction 
$ : g* — > 0, de classe C°° telle que : 

L{x) = ad*($(a;)).a; pour tout x dans g*. 



3.2. Groupes unipotents 

3.2.1. Soit G le groupe "unipotent standard", c'est-à-dire le sous-groupe de GL(n,'M.) constitué 
par les matrices unipotentes triangulaires supérieures g = {gij)i,j avec gu = l < i < n), gij = 
lorsque i > j. 
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On considère l'opération naturelle de G dans M". 
Les champs de vecteurs associés sont les : 

d 



c'est-à-dire : 



La = Xn— — l<i<n — 1, i < j < n 



d d 

2^2 n ) • • • ) rs 

OX\ OX\ 

d d 

•^3 ) • • • ) 

0X2 OX2 



dXa-l 



Les fonctions polynômes en xi, . . . ,Xn, qui sont G- invariantes, sont celles qui ne dépendent que 
de Xn ; c'est l'algèbre M[a;„], et le groupe G' est celui des matrices de la forme : 



/* 

\0 



* 

1/ 



Détermination des distributions invariantes T 



Xl 



dT 
dxi 

dT 
dxi 



dT „ 

OXi 



Uo{xi) Ô{X2, ■■■,Xn) 



T =U{Xi)® Ô{X2, ...,Xn) + lxi<S> V{X2, ■ ■ ■ , Xn) 



Ti = U{xi) (8) S{x2, ■ ■ ■ , Xn) est invariante car 

d 



' dxi 



Ô{X2, ...,Xn)=0 



lorsque 2<i<n— leti<j<n 

• T2 = Ixi (S) V{x2, ■ ■ ■ , Xn) est annulée par les et en particulier : 

= 1x1 ^ ^ij^ ^■vec : 2 < i < n — 1 et i < j < n. 
Donc V est invariante par le sous-groupe unipotent standard de GL{n — 1, 

M"-l = {(0, X2,..., Xn)\{X2, ...,Xn)& K""'}- 



opérant dans 



Proposition : Soit n > 2. Soit L un champ de vecteurs à paramètres surW^ qui annule toutes 
les distributions invariantes. Alors : 



L — ^ ipij Lij 
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DÉMONSTRATION : On traite le cas n = 2. Les distributions invariantes s'écrivent : 

T = U{xi) <E> Ô{X2) + 1x1 8» y{x2) 
où f7 et y sont des distributions arbitraires. 

Soit L = a{w, xi, X2)-^ + b{w, xi, X2)-^ {w est le paramètre). 

• L{lxi (8i V{x2)) = 0, avec V arbitraire (par exemple V = X2), donne fe = 0. 

• a{w, xi,X2)-^ (S) S{x2) = avec U arbitraire équivaut à : 

alw, Xi,0)— — = 0, avec U arbitrane, 
dxi 

d'où a{iu, xi,0) = 0, et il existe une fonction ip{w, xi,X2) telle que : a{w, xi,X2) = X2ip{w, xi, 
Donc L = ipx2 

• On traite le cas général, par récurrence sur n. 

L = ai(w,a;)— +02(^,0;)— H ha„(u;,a;)^^ 

T = U{Xi) ® 5{X2, ...,Xn) + lxi® V{X2, ■ ■ ■ , Xn) 

Par l'hypothèse de récurrence : 

" d 

s'écrit : 

Lo = '^^ij{w,x)Lij{x) (2 < î). 

D'où : 

d 

a-i-^.U{xi) (S'6{x2, . . . ,x„) = 

et : 

N du 

ai{w,xi,0, . . .,0)- — = 
dxi 

pour toute distribution U. Il existe donc des fonctions ^2{w, x),. . . , ipn{w, x) telles que : 

ai_{w,x) = X2'fi2{w,x) +X3(fi3{w,x) H \-X„(Pn{w,x). 

D'où : L = (P2X2-^ H h 'PnXn-^^ + J2i>2 fijiw, x)L,j (x) . 
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3.2.2. Ici G est le sous-groupe unipotent de GL(n, M) : 

G = {exp{tX) I i e R} 
/O 1 ... 0\ 



X = 



1 



Vo ... 0/ 



(Si (ei, . . . , e„) est la base canonique de M", l'endomorphisme / de R" dont la matrice est X, 
vérifie : 

/(ei)=0 /(e,)=e,_i (2 < j < n)), (n > 3). 



La représentation naturelle de G dans K" est la restriction à N 
représentation irréductible de dimension n de SL{2,R). 



{ I t € r} de la 



1. Soit Q l'ensemble des x = (xi, . . . ,a;„) tels que x„ 7^ et soit H l'hyperplan d'équation 
Xn-i = 0. Pour chaque x dans O, la G-orbite C.ï rencontre H en un point et un seul R{x), 
dont les coordonnées dans la base canonique : Qi, . . . , Qn-2, Qn-i (on a donc : 

G.xnH = R{x) = (Qi(.t), Q2(x), . . . , Qn-2{x),0, Qa-l{x)) 

sont des fonctions rationnelles (de x dans fl), qui séparent les orbites de G dans Î7, et en 
fait engendrent le corps des fonctions rationnelles G-invariantes sur R". 



2. Pour chaque x dans R", on pose : 

Prix) = 
Pn-l{x) = 



x'^-''-'^ Qrix) l<r<n-2 

Xn 



Les fonctions Pi, . . . , Pn-i sont en fait des fonctions polynômes G-invariantes, algébrique- 
ment indépendantes qui engendrent le corps des fonctions rationnelles invariantes, mais ne 
constituent pas un système de générateurs de l'algèbre des polynômes invariants. Précisé- 
ment, si P est une fonction polynôme invariante, il existe un entier naturel k tel que : 

x^PeR[Pi,...,P„_i]. 

Les polynômes Pi , . . . , P„_i peuvent être explicitement écrits dans les variables Xi, . . . ,Xn, 
par exemple, lorsque n = 3 : 

Pi(a;i,a;2,a;3) = X1X3 - ^xl 

P2{xi,X2,Xs) = X3 
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3. On peut alors démontrer, par récurrence sur n > 3 le résultat suivant 

• • • + a„ ôf~ un champ de vecteurs sur M" qui annule les fonctions Pi,. . 
une fonction ip telle que : 

^ / d d d \ 

L = V\X2^ hX3- 1 \-Xn-^ 

Sachant que : 

ce résultat signifie que G est caractérisé par ses polynômes invariants. 

Remarque : - Supposons n = 3, et L = aiâf- + ai-^ + ûisgf-- Si Z/P2 = 0, on a : 03 = 0. 
Si LPi = 0, on a : 

aix^ — a2X2 = 
d'où ai = (px2-, «2 = ipxi et L = 'fiix2-£^ +^3âf;)- 

- La réduction du cas de la dimension n à la dimension (n — 1), utilise les propriétés : 

. La variable xi n'apparaît que dans le polynôme Pi et = x^~^. 

. Les polynômes P2,. . . ,Pn jouent le rôle de Pi, . . . , P„ dans le cas de la dimension 
(n-1). 

4. Dans le cas n = 2, il y a un seul polynôme P(xi,a;2) = X2 et le résultat précédent n'est 
pas valable. On a vu par contre dans 3.2.1. ci-dessus, que l'ensemble des distributions 
invariantes est caractéristique. 

Conjecture : Lorsque G est un sous-groupe fermé connexe du sous-groupe unipotent 

standard de GL{n,'R), l'espace des distributions G-invariantcs sur M" caractérise l'algèbre 
de Lie des champs de vecteurs associés à l'opération de G dans M". 



:SoitL = aigf^ + 
. , P„. Il existe alors 
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